Keldysh sinh năm 1911 tại Riga. Khi lên 4 tuổi ông cùng gia đình di tản về Moscow do ảnh hưởng của Chiến tranh thế giới lần thứ nhất. Trong những năm đầu Liên Xô thành lập, ông đã bị từ chối vào học tại Viện xây dựng do xuất thân từ gia đình quý tộc. Sau này, ông đã được vào học và tốt nghiệp ngành vật lý và toán tại Đại học Quốc gia Moskva. Ông được nhận vào làm việc tại Central Aerohydrodynamic Institute (TsAGI) dưới sự hướng dẫn của Mikhail Lavrentyev and Sergey Chaplygin.

Trong quá trình làm việc tại TsAGI Keldysh đã giải thích được một số hiện tượng dao động xảy ra trên máy bay khi bay, vào thời điểm đó là vấn đề lớn dẫn đến các tai nạn về hàng không.

Năm 1937 Keldysh đã trở thành tiến sĩ khoa học với luận văn Complex Variable and Harmonic Functions Representation by Polynomial Series, và được chỉ định làm Giáo sư tại Đại học Quốc gia Moskva. Năm 1943 ông trở thành viện sĩ không thường trực tại Viện hàn lâm khoa học Liên Xô. Keldysh nhận giải thưởng Stalin đầu tiên vào năm 1946 cho những nghiên cứu về hiện tượng tự dao động của máy bay. Năm 1943 ông cũng trở thành thành viên đầy đủ của Viện và là giám đốc của Viện nghiên cứu số 1 của Cục công nghiệp hàng không. Ông cũng là người đứng đầu của Khoa cơ học ứng dụng của Viện toán học Steklov. Năm 1966, Khoa này đã được đổi tên để mang tên ông là Keldysh Institute of Applied Mathematics.

Trong những năm 1940s Keldysh là lãnh đạo của nhóm toán học ứng dụng, và đã tham gia vào hầu hết các dự án khoa học lớn khi đó của Liên Xô. Keldysh thành lập Calculation Bureau có nhiệm vụ giải quyết những vẫn để về toán học liên quan đến việc phát triển vũ khí hạt nhân. Bộ phận này cũng đã sáng tạo nên chiếc máy tính đầu tiên của Liên Xô khi đó.

Lĩnh vực chính mà Keldysh nghiên cứu là sức đẩy phản lực và tên lửa bao gồm khí động học của chất khí siêu âm, trao đổi nhiệt và khối lượng, và lá chắn nhiệt. Năm 1959 Liên Xô đã thử nghiệm thành công tên lửa hành trình Burya.

Năm 1954 Keldysh, Sergey Korolyov và Mikhail Tikhonravov cùng ký tên vào thư gửi cho chính phủ Liên Xô về việc phát triển vệ tinh nhân tạo quay quanh Trái đất. Ban đầu Chính phủ Liên Xô không coi trọng đề xuất này, nhưng do người Mỹ biết được ý tưởng trên và cũng có dự định thúc đẩy chế tạo vệ tinh riêng, do đó công việc chế tạo vệ tinh của Liên Xô được bắt đầu, với thành quả là vệ tinh Sputnik tháng 10 năm 1957, đánh dấu khởi đầu kỷ nguyên vũ trụ của loài người.[2][3][4] Keldysh được tặng thưởng danh hiệu Anh hùng lao động Xã hội chủ nghĩa Liên Xô (1956) và Lenin Prize (1957). Năm 1961 ông được nhận danh hiệu Anh hùng Lao động do những đóng góp của mình trong sứ mệnh đưa Yuri Gagarin ra ngoài vũ trụ.

Năm 1961 Keldysh được bầu làm Chủ tịch của Viện Khoa học và ông đã ở trong cương vị này trong 14 năm. Đồng thời ông cũng trở thành thành viên của Ban Chấp hành Trung ương Đảng Cộng sản Liên Xô. Đóng góp cuối cùng của ông là phát triển tàu con thoi Buran Shuttle Buran.

Keldysh mất vào ngày 24/6/1978 khi ông 67 tuổi. He was honoured with a state funeral and his ashes were buried in the Kremlin Wall Necropolis on Red Square.